无Logged Propensities的多阶段广告反事实评估：混合加权奖励模型
🧭 广告排序离线评估 · 密度比加权 ★ 深度解读
Meta Platforms, Inc.
用多分类域分类器估计密度比，训练混合加权奖励模型，在无倾向分下提升广告离线策略选择可靠性
📌 工作参考价值（4 点）
- 在无 propensities 的多阶段推荐/广告系统中，做离线策略筛选优先用「共享 reward model + mixture-weighted density ratio」，不要逐候选训练 per-policy reward model；实验显示 per-policy 加权反而更差。
- 用多分类 domain classifier 区分 logging 与候选策略产生的 impression，取 q(j|z)/q(0|z) 作为密度比；裁剪到 c=10–100 并监控 ESS/n，ESS 过低说明重叠差、权重不可靠。
- 把冷启动质量（q(0|z)<τ 的候选 impression 比例）作为离线评估天堑诊断：若过大，离线选出的 top candidate 也可能翻车，应直接送线上 A/B。
- DM 估计值 MAE 偏高，但用于 Top-1 候选选择有效；若要更准确估计各候选价值或回归预算，可加 DR 残差修正，用同一组密度比权重，低重叠时提升明显。
排序依赖曝光下的推荐排序离线策略评估：曝光-相关性分解
🧭 离线评估 · 曝光-相关性分解 ★ 深度解读
Waseda University
将点击分解为曝光与相关性，提出 LE-IIPS 与 ED-DR，修正排序依赖曝光下的 OPE 偏差
📌 工作参考价值（4 点）
- 在电商/广告排序评估新策略时，点击日志无法区分“未曝光”和“曝光未点击”，直接使用 IIPS 会在曝光概率依赖整个排序（如邻近商品吸引注意力）时产生偏差；可显式建模 e_k(x,a) 和 r(x,a(k))，在权重中乘上 \bar{e}_k^π / e_k 修正。
- ED-DR 的双重稳健性适合工程落地：只要曝光概率估计正确，即使相关性模型不准确，评估仍无偏；可在相关性模型不确定时优先保证曝光模型的准确性，降低风险。
- 样本量小时 IIPS 方差更低，大样本时 ED-DR MSE 更低，存在临界 n*；线上评估前可按历史样本量选择估计器，不必一味用 DR。
- 用 regression EM + intervention harvesting 初始化估计曝光概率，relevance 模型只依赖 item 不依赖位置，可跨位置池化数据，缓解稀疏 item-position 对。
离线策略评估中序列标注预算的最优分配方法
🧭 离线策略评估 · 标注预算优化
University of Southern California · University of California, Berkeley · University of Washington, Seattle
在离线评估中，用有限标注预算优化序列标注概率以最小化方差，结合双重稳健处理缺失标签
📌 工作参考价值（4 点）
- 在电商搜索推荐场景中，构建离线评估集时往往需要人工标注或付费获取真实点击/转化数据。该方法提供了一种方差最优的标注采样策略：根据样本对评估方差的影响程度分配标注预算，而不是随机采样，可以在相同预算下显著降低策略价值估计的 RMSE（论文中降低 34-68%）。
- 面对 LLM-as-a-judge 存在的未知偏差，可采用论文中的双重稳健 OPE 框架：将 LLM 标注作为缺失奖励的插补模型，结合少量专家标注进行校正，既降低成本又控制偏差。
- 序列推荐/会话评估中，论文提出的前向单调标注协议很有借鉴意义：只标注序列中当前及之后的关键状态点，避免回溯标注成本过高，适合在线动态标注场景。
- 批量自适应实现思路可迁移：在推荐系统 A/B 测试模拟中，先基于历史数据估计每个 context 的潜在方差，再动态调整后续批次的标注概率，逐步逼近最优分配，工程上容易落地。
何时能信任等成本 Top-k 分配的离线评估？
🧭 离线策略评估 · 确定性 Top-k 分配 ★ 深度解读
Independent Researcher
Top-k 离线评估：logger-目标动作对齐决定重叠，DR 最稳，诚实策略级切分才能消除优化者诅咒
📌 工作参考价值（4 点）
- 离线评估新排序/预算分配策略前，先算 logger 与目标策略的 action alignment，不要只看 logging policy 的温度或平滑度。可用 logged actions + propensities 计算 ESS 跨环境排序风险，但 cut point 需按自己的样本量重校准；同一份日志内 ESS 对候选策略排序几乎无效（ρ≈-0.11）。
- 倾向得分模型质量是第一优先级：文中 flexible πb 估计让 IPS 失败率从 6.3% 升至 37-63%，甚至把 ESS 诊断 AUC 从 0.85 反转为 0.05。业务上用 OPE 评估预算分配务必先验证 propensity model，否则诊断会误导；DR 对倾向估计误差几乎免疫，适合作为默认估计器。
- 评估用同数据训练的策略时，不要只做 outcome nuisance cross-fitting，必须做 policy-level honest splitting：每个 fold 重新训练策略并在 held-out fold 评估，才能消除 optimizer's curse；否则 cross-fitted DR 比 plain DR 更乐观（bias 增加 16-36%）。
- 做策略选择时，如果每个候选都有自己的 aligned log，会比较 policy-logger pairs 而不是 policies；应使用共同的 logging dataset，并注意 regret 和 accuracy 可能不一致，competitive slate 会缩小估计器差距。
利用策略重叠加速A/B测试：反事实估计视角
🧭 反事实估计 · A/B测试加速 ★ 深度解读
Independent Researcher · aampe
将随机流量分配视为元策略，用Δ-OPE利用策略重叠达成严格方差缩减，并提供最优流量与排名扩展
📌 工作参考价值（4 点）
- 免费方差缩减：在线上A/B测试中直接使用Δ-IPS或Δ-DR代替标准DiM，仅需记录两个策略的动作分布，当新旧模型存在重叠时即可自动获得更低方差，无需改变流量分配或延迟实验。
- 非平衡流量设计：放弃固定的50/50分流，利用历史日志估计策略分歧度，计算方差最优分流比p*（例如对探索性策略倾斜流量），可额外减小18%以上的方差（模拟显示）。
- 聚焦模型训练：Δ-MRDR loss对样本加权 wΔ²，让奖励模型集中拟合策略分歧区域，在推荐场景异构用户分布下，可比标准Δ-DR再降约8%的ATE估计方差。
- 排名实验加速：对推荐/搜索排序，用Δ-DCG并加入位置最优基线（Δβ*⊥⊥-DCG），可抵消策略分歧增大时的方差膨胀，始终优于传统均值差，可直接用于多臂A/B测试中的曝光指标评估。
奖励非随机缺失MDP的离线策略评估方法
🧭 离线策略评估 · 缺失非随机奖励
Department of Statistics, University of Michigan at Ann Arbor · Department of Statistics and Applied Probability, University of California at Santa Barbara · Department of Mathematical Sciences, University of Texas at Dallas
利用未来状态与桥函数识别MNAR奖励，构建缺失感知的FQE式OPE估计量
📌 工作参考价值（4 点）
- 离线评估奖励缺失场景：当用户反馈（点击/转化）稀疏且非随机缺失时，传统OPE有偏，可采用影子变量（未来状态）和桥函数方法纠正选择偏误，提升评估准确性。
- 利用用户后续行为作为工具变量：在用户路径数据中，后续浏览、停留时长等可作为影子变量，帮助推断缺失的转化奖励，无需依赖不可验证的缺失机制假设。
- FQE式实现：工程上可基于Fitted Q-Evaluation框架，用神经网络学习Q函数，并集成桥函数通过min-max优化估计，避免显式建模缺失模型和双重采样，适合大规模推荐系统。
- 支持缺失感知策略评估：新策略可根据历史缺失模式调整动作（例如对不活跃用户增加激励），本方法允许评估此类策略，更贴合实际业务需求。
面向离策略评估的日志策略设计
🧭 Eval ★ 深度解读
New York University · Spotify
在已知/未知目标策略与奖励分布的信息条件下，推导最小化IPW估计均方误差的最优日志策略，揭示奖励-覆盖权衡